import os
import time
import jiandan_init
import file_operate
## 爬取网址url
url = 'http://jandan.net/ooxx/'
# url = 'http://jandan.net/zoo/'
## 爬取次数
count = 1
## 去除重复url
urldict = {}
## 图片集合
imageLisst = []
## 子目录存放地方
sonPath = url.split('//')[1].split('/')[1]
## 目录存放位置
path = 'E:\\python\\网络爬虫\\煎蛋网图片爬取'
## 保存的txt文件名称
fileName = path + '//' + sonPath + '//imgUrl.txt'
## 判断文件是否下载成功
isDownload = False
## 如果原先已爬取则直接返回
if os.path.exists(fileName):
    print("已存在")
else:
    while url != -1:
        print("当前爬取到了第" + str(count) + "次,当前的url是：" + str(url))
        html = jiandan_init.openJianDan(url)
        ## 获取图片集合
        imageLisstTemp = jiandan_init.findByImageList(html)
        for each in imageLisstTemp:
            imageLisst.append(each)
        
        ## 寻找出下一个图片url
        nextUrl = jiandan_init.seekNextUrl(html,urldict)
        url = nextUrl
        # 在字典中添加 以判断去重
        urldict[nextUrl] = nextUrl
        ## 暂停1秒继续爬取
        time.sleep(0.5)
        count += 1
    ## 保存到本地
    fileName = file_operate.saveImage(imgAddrs=imageLisst,sonPath=sonPath,path=path)

nextProject = input("以保存到本地目录为：" + str(fileName) + "是否要下载图片 N：不需要 Y：需要：")
if nextProject == 'Y' or nextProject == 'y':
    print("将爬取" + str(fileName) + "文件中的信息")
    path = path + '\\' + sonPath
    while isDownload == False:
        isDownload = jiandan_init.downloadImg(path,fileName)
end = input("本次爬虫结束,请按任意键进行退出：")
print("本次爬虫结束")